Sporting

Sau một thời gian ngắn với câu lạc bộ FC Porto ở quê nhà, João Mário đã chuyển đến Sporting Clube de Portugal vào năm 2004 ở tuổi 11. Vào ngày 14 tháng 12 năm 2011 anh ra sân tại UEFA Europa League trong trận đấu với SS Lazio, cùng với những cầu thủ trẻ như Betinho, Ricardo Esgaio, Tiago Ilori và João Carlos.

Mùa giải đầu tiên của João Mário là mùa giải Primeira Liga 2012-13, khi anh xuất hiện trong 31 trận (30 trận đấu) cho Sporting B ở Segunda Liga, và đội kết thúc ở vị trí thứ tư. Vào ngày 8 tháng 1 năm 2014, anh đã Vitória FC mượn cho phần còn lại của mùa giải.

Vào ngày 31 tháng 5 năm 2015, một lần nữa ra sân với đội hình chính của Sporting, João Mário chơi trận chung kết của Cúp Bồ Đào Nha gặp SC Braga. Sau đó anh giúp Sporting giành thắng lợi trong một loạt đá luân lưu.

Internazionale

Vào ngày 27 tháng 8 năm 2016, João Mário đã ký hợp đồng với Internazionale với giá 40 triệu Euro và 5 triệu Euro tiền thưởng. Lần xuất hiện đầu tiên của anh ở Serie A là vào ngày 11 tháng 9 khi anh chơi 90 phút trong chiến thắng 2-1 trước Pescara.